Gladys được sinh ra trong gia đình Casely-Hayford của Axim, Gold Coast vào ngày 11 tháng 5 năm 1904. Khi còn nhỏ, cô được biết đến với cái tên Aquah LaLuah, cô không thích sách giáo khoa hay số học nhưng lại là một mọt sách, ngấu nghiến hết cuốn Heroes của Charles Kingsley's từ trang đầu tiên đến trang cuối cùng khi mới có bảy tuổi. Từ khi còn là một cô bé, cô đã biết hát, nhảy và viết thơ. Do sự chăm chỉ của cô, cô có thể nói thành thạo tiếng Anh, Creole và Fante (ngôn ngữ của cha cô). Cô học tiểu học và trung học ở Gold Coast và chuyển đến Penrhos College, Colwyn Bay, xứ Wales, sau khi từ chối hai trường đại học mang tính cạnh trạnh khác để muốn trau dồi thêm khả năng viết lách. Gladys dừng việc học ở đó và đi chu du cùng một ban nhạc jazz Berlin như một vũ công. Cô cùng sống với họ trong một thời gian dài, nhưng đến năm 1932 ban nhạc có dấu hiệu tan rã và cô phải về nhà. Quay trở về nhà ở Châu Phi, cô dạy tại Trường dạy nghề dành cho nữ sinh của mẹ ở Freetown, Sierra Leone.